WARP: Weight-Space Analysis for Recovering Training Data Portfolios
WARP：从权重空间恢复训练数据组合
🧭 权重空间几何分析 · 数据配比推断
University of Wisconsin-Madison
仅凭模型权重即可恢复微调时的领域混合比例，无需训练数据或训练轨迹
📌 工作参考价值（4 点）
- 推断微调推荐模型的数据配方：拿到一个第三方发布的推荐模型（如商品表示模型），可以用 WARP 反推其微调时所用数据集的领域构成（如服饰、电子、家居比例），判断是否偏离我方场景。
- 检测数据泄露与分布漂移：将线上模型与基础模型做权重插值，观察权重空间几何足迹，可快速发现模型是否在敏感数据上做过微调，辅助合规审计。
- 指导增量训练的数据采样：当需要继续微调开源推荐模型时，先恢复其原始训练数据的领域配比，据此调整自己的数据采样策略，避免灾难性遗忘或能力坍缩。
- 简易实现：只需基础模型和微调模型权重：不用访问原始训练数据或中间检查点，仅通过模型融合生成伪检查点，再用几何特征（如权重差向量的角度、长度）和线性映射即可推断，工程成本低。